@Sophia
2年前 提问
1个回答
大数据进行预处理有哪些优势
帅末
2年前
大数据进行预处理有以下优势:
数据预处理的引入,将有助于提升数据质量,并使后续的数据处理、分析、可视化过程更加容易、有效,有利于获得更好的用户体验。数据预处理形式上包括数据清理、数据集成、数据归约与数据转换等阶段。
数据清理技术包括数据不一致性检测技术、脏数据识别技术、数据过滤技术、数据修正技术、数据噪声的识别与平滑技术等。
数据预处理后数据集成把来自多个数据源的数据进行集成,缩短数据之间的物理距离,形成一个集中统一的(同构/异构)数据库、数据立方体、数据宽表与文件等。
数据归约技术可以在不损害挖掘结果准确性的前提下,降低数据集的规模,得到简化的数据集。归约策略与技术包括维归约技术、数值归约技术、数据抽样技术等。
数据转换处理后,数据被变换或统一。数据转换不仅简化了处理与分析过程、提升了时效性,也使得分析挖掘的模式更容易被理解。数据转换处理技术包括基于规则或元数据的转换技术、基于模型和学习的转换技术等。